人工知能分野における激しい競争の中、100万ドル規模の大規模実験が、大規模言語モデルのトレーニング方法を静かに変えつつあります。階躍星辰研究チームは最近、重要な研究成果を発表しました。彼らは、約100万NVIDIA H800 GPU時間という膨大な計算能力を費やし、ゼロから3,700個もの異なる規模のモデルをトレーニングし、合計で驚異の100兆個のトークンを処理することで、Step Lawと呼ばれる普遍的なスケーリング則を発見しました。これは、大規模言語モデルの高効率トレーニングのための全く新しい指針を提供するものです。